iT邦幫忙

2023 iThome 鐵人賽

DAY 14
1

Data Mesh & Microservices 在國內最專業的非 Brobridge 寬橋莫屬,看看這篇貼文就知。https://www.facebook.com/photo/?fbid=7270455172967761&set=a.105614112785272
想深入研究可以 follw 寬橋在 Medium 的部落格 https://medium.com/brobridge

本篇會著重 “Data Mesh” 是什麼?以及如何識別 “Data Mesh”。

關於 Data Mesh 應有的基本認識

  1. Data Mesh 是 2019 年出現的新詞彙,由 Zhamak Dehghani 跟著 “Data as a Product” 的概念一起提出,目的是為了改善單體資料架構(例如資料倉儲或資料湖泊)的缺陷。
  2. Data Mesh 必以 Kubernetes 為基礎以建置。
  3. Data Mesh 以 domain 為單位切割資料, 提供自助式存取
  4. Data Mesh 必須考慮跨部門 Data Owner 的聯合治理議題
  5. Mckinsey 麥肯錫將 Data Mesh 定義為一種「資料管理範式」,Domain-based data management paradigm

https://ithelp.ithome.com.tw/upload/images/20230917/20161790Fnu6KnCOlW.png
圖片來源:https://www.mckinsey.com/capabilities/quantumblack/our-insights/demystifying-data-mesh

從上述幾點,我們可以推演出幾個 Data Mesh 適用場景的特色:

  1. 資料應用場景多元且複雜,需要去耦合
  2. 已實踐 Microservice
  3. 有資料去中心化需求

Data Mesh 來自資料去中心化的需求

我個人認為 Data Mesh 的出現,乃是因為 Microservices 的實踐後所催生。我們在最近十年中看到不同層面的去中心化,從分散式系統出現、到應用系統的微服務,到資料面的 Data Mesh,實際上是個徹底解耦的必然過程。這一切都是為了讓各種基於資訊系統的服務,更加具有彈性與韌性。

當然我們也要認知,高度彈性會增加管理複雜度,需要準備好技能與團隊。

延伸閱讀

Demystifying data mesh
Data Mesh: 2021 and Beyond


上一篇
Data Lakehouse (資料湖倉),順便淺談 Apache Iceberg
下一篇
Data Fabric (& Apache Airflow, Apache Iceberg 的天作之合)
系列文
吵什麼 AI 煉金術?!你家有礦嗎?(資料領域必知的 30 個詞彙)30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言